有条件的随机测试(CRTS)评估了一个变量$ x $是否可以预测另一个变量$ y $,因为观察到了协变量$ z $。 CRT需要拟合大量的预测模型,这通常在计算上是棘手的。降低CRT成本的现有解决方案通常将数据集分为火车和测试部分,或者依靠启发式方法进行互动,这两者都会导致权力损失。我们提出了脱钩的独立性测试(饮食),该算法通过利用边际独立性统计数据来测试条件独立关系来避免这两个问题。饮食测试两个随机变量的边际独立性:$ f(x \ hid z)$和$ f(y \ mid z)$,其中$ f(\ cdot \ mid z)$是有条件的累积分配功能(CDF)。这些变量称为“信息残差”。我们为饮食提供足够的条件,以实现有限的样本类型误差控制和大于1型错误率的功率。然后,我们证明,在使用信息残差之间的相互信息作为测试统计数据时,饮食会产生最强大的有条件测试。最后,我们显示出比几个合成和真实基准测试的其他可处理的CRT的饮食能力更高。
translated by 谷歌翻译
杂散的相关性允许灵活的模型在培训期间预测很好,但在相关的测试人群中仍然很差。最近的工作表明,满足涉及相关诱导\ exuritiT {Nuisance}变量的特定独立性的模型在其测试性能上保证了。执行此类独立性需要在培训期间观察到滋扰。然而,滋扰,例如人口统计或图像背景标签通常丢失。在观察到的数据上实施独立并不意味着整个人口的独立性。在这里,我们派生{MMD}估计用于缺失滋扰下的不变性目标。在仿真和临床数据上,通过这些估计优化实现测试性能类似于使用完整数据的估算器。
translated by 谷歌翻译
通过最大可能性培训的深层模型已经为生存分析取得了最先进的结果。尽管采取了这一培训计划,从业人员可以在其他标准下评估模型,例如在选择的时间范围内的二进制分类损失,例如,如此。 Brier得分(BS)和Bernoulli日志似然(BLL)。由于最大可能性不直接优化这些标准,最大可能性培训的模型可能具有较差的BS或BLL。直接优化BS等标准需要通过审查分布逆加权,估计本身也需要失败分布的逆加权。但也不是众所周知的。为了解决这种困境,我们介绍了逆加权的生存游戏,以培训失败和审查模型以及BS或BLL等标准。在这些游戏中,每个模型的目标是由重量估计构建的,其中包含另一个模型,其中重新加权模型在训练期间固定。当损失是正确的时,我们表明游戏总是具有真正的失败和审查分布作为静止点。这意味着游戏中的模型不会留下正确的分布。我们构建一个静止点是独一无二的一个案例。我们表明这些游戏在模拟上优化了BS,然后在现实世界癌症和危险性患者数据上应用这些原则。
translated by 谷歌翻译
We consider the inverse acoustic obstacle problem for sound-soft star-shaped obstacles in two dimensions wherein the boundary of the obstacle is determined from measurements of the scattered field at a collection of receivers outside the object. One of the standard approaches for solving this problem is to reformulate it as an optimization problem: finding the boundary of the domain that minimizes the $L^2$ distance between computed values of the scattered field and the given measurement data. The optimization problem is computationally challenging since the local set of convexity shrinks with increasing frequency and results in an increasing number of local minima in the vicinity of the true solution. In many practical experimental settings, low frequency measurements are unavailable due to limitations of the experimental setup or the sensors used for measurement. Thus, obtaining a good initial guess for the optimization problem plays a vital role in this environment. We present a neural network warm-start approach for solving the inverse scattering problem, where an initial guess for the optimization problem is obtained using a trained neural network. We demonstrate the effectiveness of our method with several numerical examples. For high frequency problems, this approach outperforms traditional iterative methods such as Gauss-Newton initialized without any prior (i.e., initialized using a unit circle), or initialized using the solution of a direct method such as the linear sampling method. The algorithm remains robust to noise in the scattered field measurements and also converges to the true solution for limited aperture data. However, the number of training samples required to train the neural network scales exponentially in frequency and the complexity of the obstacles considered. We conclude with a discussion of this phenomenon and potential directions for future research.
translated by 谷歌翻译
Bio-inspired learning has been gaining popularity recently given that Backpropagation (BP) is not considered biologically plausible. Many algorithms have been proposed in the literature which are all more biologically plausible than BP. However, apart from overcoming the biological implausibility of BP, a strong motivation for using Bio-inspired algorithms remains lacking. In this study, we undertake a holistic comparison of BP vs. multiple Bio-inspired algorithms to answer the question of whether Bio-learning offers additional benefits over BP, rather than just biological plausibility. We test Bio-algorithms under different design choices such as access to only partial training data, resource constraints in terms of the number of training epochs, sparsification of the neural network parameters and addition of noise to input samples. Through these experiments, we notably find two key advantages of Bio-algorithms over BP. Firstly, Bio-algorithms perform much better than BP when the entire training dataset is not supplied. Four of the five Bio-algorithms tested outperform BP by upto 5% accuracy when only 20% of the training dataset is available. Secondly, even when the full dataset is available, Bio-algorithms learn much quicker and converge to a stable accuracy in far lesser training epochs than BP. Hebbian learning, specifically, is able to learn in just 5 epochs compared to around 100 epochs required by BP. These insights present practical reasons for utilising Bio-learning rather than just its biological plausibility and also point towards interesting new directions for future work on Bio-learning.
translated by 谷歌翻译
在过去的十年中,修剪神经网络已经流行,当时证明可以安全地从现代神经网络中安全地删除大量权重,而不会损害准确性。从那时起,已经提出了许多修剪方法,每种方法都比以前更好。如今,许多最先进的技术(SOTA)技术依赖于使用重要性得分的复杂修剪方法,通过反向传播获得反馈或在其他等方面获得基于启发式的修剪规则。我们质疑这种引入复杂性的模式,以获得更好的修剪结果。我们对这些SOTA技术基准针对全球幅度修剪(全球MP)(一个天真的修剪基线),以评估是否确实需要复杂性来实现更高的性能。全球MP按其幅度顺序排列权重,并修理最小的权重。因此,它以香草形式是最简单的修剪技术之一。令人惊讶的是,我们发现香草全球MP的表现优于所有其他SOTA技术,并取得了新的SOTA结果。它还可以在拖叉稀疏方面取得良好的性能,当以逐渐修剪的方式进行修剪时,我们发现这是增强的。我们还发现,全球MP在具有卓越性能的任务,数据集和模型之间可以推广。此外,许多修剪算法以高稀疏速率遇到的一个常见问题,即可以通过设置要保留在每层中的最小权重阈值来轻松固定在全球MP中。最后,与许多其他SOTA技术不同,全球MP不需要任何其他特定算法的超参数,并且非常简单地调整和实施。我们在各种模型(WRN-28-8,Resnet-32,Resnet-50,Mobilenet-V1和FastGrnn)和多个数据集(CIFAR-10,Imagenet和HAR-2)上展示了我们的发现。代码可在https://github.com/manasgupta-1/globalmp上找到。
translated by 谷歌翻译
人类智能能够首先学习一些基本技能,以解决基本问题,然后将这种基本技能融合到解决复杂或新问题的复杂技能中。例如,基本技能``挖洞'',``放树,'''``回填''和``浇水'''构成复杂的技能``植物''。此外,可以重复使用一些基本技能来解决其他问题。例如,基本技能``挖洞''不仅可以用于种植树木,而且还可以用于采矿,建造排水管或垃圾填埋场。学习基本技能并重复使用各种任务的能力对人类非常重要,因为它有助于避免学习太多的技能来解决每个任务,并可以通过仅学习几个数量来解决组成数量的任务数量基本技能,可以节省人脑中大量的记忆和计算。我们认为,机器智能还应捕捉学习基本技能并通过构成复杂技能的能力。在计算机科学语言中,每种基本技能都是“模块”,它是一个可重复使用的具体含义的网络,并执行特定的基本操作。将模块组装成更大的``模型'',以完成更复杂的任务。组装过程适应输入或任务,即,对于给定的任务,应该将模块组装成解决任务的最合适的模型中。结果,不同的输入或任务可能具有不同的组装模型,从而实现自组装AI。在这项工作中,我们提出了模块化的自适应神经体系结构搜索(MANAS),以演示上述想法。不同数据集上的实验表明,MANAS组装的自适应体系结构优于静态全局体系结构。进一步的实验和经验分析为魔力的有效性提供了见解。
translated by 谷歌翻译
智能建筑中的室内热舒适对乘员的健康和表现有重大影响。因此,机器学习(ML)越来越多地用于解决与室内热舒适的挑战。热舒适感的时间变化是调节居住者福祉和能耗的重要问题。但是,在大多数基于ML的热舒适研究中,不考虑时间中的时间方面,例如一天中的时间,昼夜节律和室外温度。这项工作解决了这些问题。它研究了昼夜节律和室外温度对ML模型的预测准确性和分类性能的影响。数据是通过在14个教室中进行的长达一个月的实地实验收集的,其中512名小学生。四个热舒适度指标被认为是深神经网络的输出,并支持数据集的向量机模型。时间变异性对学童舒适性的影响通过“一天中的时间”分析显示。预测准确性的时间差异已显示(多达80%)。此外,我们表明室外温度(随时间变化)对热舒适模型的预测性能产生了积极影响高达30%。时空环境的重要性通过对比的是微观级别(特定于位置)和宏观级别(整个城市的6个位置)的重要性。这项工作的最重要发现是,对于多种热舒适度指标,显示了预测准确性的明确提高,而天空中的时间和天空照明则有所增加。
translated by 谷歌翻译
室内环境中的热舒适感会对乘员的健康,福祉和表现产生巨大影响。鉴于对能源效率和实现智能建筑的关注,机器学习(ML)越来越多地用于数据驱动的热舒适度(TC)预测。通常,提出了用于空调或HVAC通风建筑物的基于ML的解决方案,这些模型主要是为成年人设计的。另一方面,在大多数国家 /地区,自然通风(NV)的建筑物是常态。它们也是节能和长期可持续性目标的理想选择。但是,NV建筑物的室内环境缺乏热调节,并且在空间环境中差异很大。这些因素使TC预测极具挑战性。因此,确定建筑环境对TC模型性能的影响很重要。此外,需要研究跨不同NV室内空间的TC预测模型的概括能力。这项工作解决了这些问题。数据是通过在5个自然通风的学校建筑中进行的为期一个月的实地实验,涉及512名小学生。空间变异性对学生舒适度的影响通过预测准确性的变化(高达71%)来证明。还通过特征重要性的变化来证明建筑环境对TC预测的影响。此外,对儿童(我们的数据集)和成人(ASHRAE-II数据库)进行了模型性能的空间变异性比较分析。最后,评估了NV教室中热舒适模型的概括能力,并强调了主要挑战。
translated by 谷歌翻译
近年来,已经引入了几种针对神经状态空间模型的系统识别算法。大多数提出的方法旨在通过对从较长训练数据集提取的简短子序列进行优化来降低学习问题的计算复杂性。然后在Minibatch中同时处理不同的序列,利用现代的并行硬件进行深度学习。在这些方法中产生的问题是需要为每个子序列分配一个初始状态,这是运行模拟并因此评估拟合损失所必需的。在本文中,我们为基于广泛的实验和对两个公认的系统识别基准进行的分析提供了校准神经状态空间训练算法的见解。特定的重点是最初状态估计的选择和作用。我们证明,实际上需要先进的初始状态估计技术来在某些类别的动态系统上实现高性能,而对于渐近稳定的基本程序,例如零或随机初始化,已经产生了竞争性能。
translated by 谷歌翻译